# 인공지능의 편향과 차별 (AI Bias and Discrimination)

## 1. 개요
인공지능의 편향과 차별이란 AI 모델이 학습 데이터의 불균형이나 알고리즘의 설계 결함으로 인해 특정 보호 집단(Protected Group, 인종, 성별, 연령, 종교 등)에 대해 체계적으로 불리하거나 왜곡된 결과를 출력하는 현상을 의미한다.

현대 사회에서 AI는 채용, 금융, 사법, 의료 등 삶의 핵심적인 결정 과정에 깊숙이 통합되고 있다. AI는 객관적이고 중립적이라는 일반적인 믿음과 달리, 실제로는 학습 데이터에 내재된 인간의 편견을 그대로 학습하여 재생산하거나 증폭시키는 경향이 있다. 이는 단순한 기술적 오류를 넘어 기본권 침해와 사회적 불평등 심화라는 심각한 사회적 문제를 야기하므로, 기술적·윤리적 관점에서의 정밀한 관리가 필수적이다.

## 2. 편향의 발생 원인
AI 편향은 데이터의 수집부터 모델의 배포에 이르는 머신러닝 파이프라인 전 과정에서 유입될 수 있다.

### 2.1 데이터 수집 단계의 표본 편향 (Sampling Bias)
학습 데이터가 실제 모집단을 대표하지 못할 때 발생한다. 특정 집단의 데이터가 과잉 대표되거나 소외 집단(Unprivileged Group)의 데이터가 과소 대표될 경우, 모델은 데이터가 부족한 집단에 대해 낮은 예측 정확도를 보이거나 편향된 판단을 내리게 된다.

### 2.2 레이블링 과정의 인간 편향 (Labeling Bias)
데이터에 정답(Label)을 부여하는 작업자가 가진 주관적 편견이 반영되는 경우이다. 예를 들어, '성공한 경영자'의 이미지를 분류할 때 작업자가 무의식적으로 특정 성별이나 인종만을 선택한다면, AI는 이를 보편적인 정답으로 학습한다.

### 2.3 측정 편향 (Measurement Bias)
측정 도구의 오류나 지표 설정의 부적절함으로 인해 특정 집단의 특성이 왜곡되어 기록되는 경우이다. 예를 들어, 소득 수준을 측정할 때 디지털 결제 내역만 반영한다면 디지털 기기 사용률이 낮은 고령층의 경제 활동이 과소평가되어 데이터에 기록될 수 있다.

### 2.4 알고리즘 설계상의 구조적 편향 (Algorithmic Bias)
최적화 목표(Objective Function) 설정이나 가중치 부여 방식 등 알고리즘 설계 단계에서 발생하는 편향이다. 효율성만을 극대화하도록 설계된 모델은 소외 집단의 특성을 '노이즈(Noise)'로 처리하여 무시하는 경향이 있다.

**[표 1] 편향의 유형별 발생 원인 및 예시**

| 편향 유형 | 발생 원인 | 구체적 예시 |
| :--- | :--- | :--- |
| **표본 편향** | 데이터 수집 대상의 불균형 | 백인 남성 데이터 위주로 학습된 안면 인식 모델이 유색인종 여성 인식률 저하 |
| **레이블링 편향** | 작업자의 주관적 편견 개입 | 특정 인종의 범죄 이력 데이터를 '위험도'로 단순 레이블링하여 편견 강화 |
| **측정 편향** | 측정 도구 및 지표의 오류 | 소득 수준 측정 시 디지털 결제 내역만 반영하여 고령층 경제 활동 과소평가 |
| **구조적 편향** | 알고리즘의 최적화 방식 | 다수결 원칙의 손실 함수(Loss Function) 사용으로 소외 집단의 특성 무시 |

## 3. 주요 사례 및 영향
AI 편향은 실생활의 다양한 영역에서 구체적인 차별로 나타나며, 이는 개인의 삶에 직접적인 피해를 준다.

| 분야 | 사례 | 결과 및 영향 |
| :--- | :--- | :--- |
| **[채용]** | 글로벌 IT 기업 A사의 AI 채용 도구 | 과거 남성 중심 채용 패턴을 학습하여 '여성' 단어 포함 이력서 감점 |
| **[금융]** | 신용 평가 AI의 변수 학습 | 신용도가 동일함에도 특정 인종/저소득층 거주자에게 고금리 적용 및 대출 거절 |
| **[사법]** | 재범 예측 AI 'COMPAS' | 흑인 피고인의 재범 가능성을 백인보다 높게 예측하여 양형 결정에 차별 개입 |
| **[보안]** | 편향된 데이터셋 기반 안면 인식 | 유색인종 얼굴 오인식으로 인해 무고한 시민이 범죄자로 몰려 체포되는 인권 침해 |

## 4. 편향 탐지 및 측정 방법
AI의 공정성을 확보하기 위해서는 주관적인 판단이 아닌 정량적인 지표를 통해 편향성을 측정해야 한다.

### 4.1 정량적 공정성 지표
*   **인구통계적 동등성 (Demographic Parity):** 서로 다른 집단이 긍정적인 결과를 받을 확률이 동일해야 한다는 지표이다.
    $$\text{P}(\hat{Y}=1 | G=0) = \text{P}(\hat{Y}=1 | G=1)$$
*   **등화된 기회 (Equalized Odds):** 실제 정답이 '긍정'인 경우, 집단에 관계없이 모델이 이를 '긍정'으로 예측할 확률(True Positive Rate)이 동일해야 함을 의미한다.
    $$\text{P}(\hat{Y}=1 | Y=1, G=0) = \text{P}(\hat{Y}=1 | Y=1, G=1)$$
*   **예측 동등성 (Predictive Parity):** 모델이 '긍정'으로 예측했을 때, 실제로 '긍정'일 확률(Precision)이 모든 집단에서 동일해야 한다는 지표이다.
    $$\text{P}(Y=1 | \hat{Y}=1, G=0) = \text{P}(Y=1 | \hat{Y}=1, G=1)$$
    *(단, $\hat{Y}$는 예측값, $Y$는 실제값, $G$는 보호 집단 여부를 나타냄)*

### 4.2 테스트 방법론
*   **반사실적 테스트 (Counterfactual Testing):** 입력 데이터에서 특정 속성(예: 성별)만 변경했을 때 결과가 바뀌는지 확인하여 편향성을 측정한다.
*   **슬라이싱 분석 (Slicing Analysis):** 전체 데이터셋이 아닌, 특정 하위 집단(Slices)별로 성능 지표를 세분화하여 분석함으로써 소외 집단을 찾아낸다.

## 5. 완화 전략 및 해결 방안
편향을 제거하기 위한 기술적 접근은 AI 파이프라인의 어느 단계에서 개입하느냐에 따라 세 가지로 나뉜다.

### 5.1 기술적 해결책
1.  **전처리 (Pre-processing):** 학습 데이터 단계에서 편향을 제거한다. 데이터 리샘플링(Resampling)을 통해 소외 집단의 비중을 높이거나, 편향을 유발하는 변수를 제거/변환한다.
2.  **학습 중 처리 (In-processing):** 모델 학습 과정에 공정성 제약 조건을 추가한다. 손실 함수에 '공정성 페널티'를 부여하여 정확도와 공정성을 동시에 최적화한다.
3.  **후처리 (Post-processing):** 모델의 예측 결과가 나온 후, 임계값(Threshold)을 집단별로 다르게 설정하여 최종 결과의 비율을 조정한다.

**※ 주의사항:** 편향을 제거하는 과정에서 모델의 전체적인 예측 정확도(Accuracy)가 하락할 수 있는 **'정확도-공정성 트레이드오프(Accuracy-Fairness Trade-off)'**가 발생할 수 있다. 따라서 서비스의 목적에 맞는 적절한 균형점을 찾는 것이 중요하다.

### 5.2 제도적 방안
*   **AI 윤리 가이드라인 제정:** 정부 및 국제기구 차원에서 AI 개발 시 준수해야 할 공정성 기준을 마련한다. (예: 한국의 '인공지능 윤리기준', EU의 '신뢰할 수 있는 AI 윤리 가이드라인')
*   **제3자 감사 (Third-party Audit):** 외부 전문 기관이 AI 모델의 데이터셋 구성, 알고리즘 설계, 결과값의 편향성을 독립적으로 검증하고 인증하는 체계를 구축하여 투명성을 확보한다.
*   **영향 평가 실시:** 고위험 AI 시스템 도입 전, 해당 시스템이 소외 집단의 기본권에 미칠 영향을 사전에 분석하는 'AI 영향 평가' 제도를 도입한다.

### 5.3 공정성 측정 코드 예시
Python의 `AIF360` (AI Fairness 360) 라이브러리를 활용하여 인구통계적 동등성을 측정하는 개념적 예시이다.

```python
import pandas as pd
from aif360.datasets import BinaryLabelDataset
from aif360.metrics import BinaryLabelDatasetMetric

# 1. 데이터셋 로드 (예시: df = pd.read_csv('employment_data.csv'))
# df = pd.read_csv('data.csv') 
# privileged_groups: 우대 집단 (예: 남성), unprivileged_groups: 소외 집단 (예: 여성)
dataset = BinaryLabelDataset(df=df, label_name='hired', protected_attribute_names=['gender'])
privileged_groups = [{'gender': 1}]
unprivileged_groups = [{'gender': 0}]

# 2. 공정성 메트릭 계산
metric = BinaryLabelDatasetMetric(dataset, 
                                  unprivileged_groups=unprivileged_groups, 
                                  privileged_groups=privileged_groups)

# 3. 인구통계적 동등성(Statistical Parity Difference) 측정
# 0에 가까울수록 공정하며, 음수일수록 소외 집단에 불리함을 의미함
spd = metric.statistical_parity_difference()
print(f"Statistical Parity Difference: {spd:.4f}")
```

## 6. AI 윤리와 거버넌스
AI 편향 문제는 단순한 기술적 튜닝으로 해결될 수 없으며, 사회적 합의와 거버넌스 체계가 뒷받침되어야 한다.

### 6.1 책임 있는 AI (Responsible AI)
책임 있는 AI란 AI 시스템의 설계, 개발, 배포 및 운영 전 과정에서 윤리적 가치를 반영하고, 그 결과에 대해 개발자와 운영자가 책임을 지는 체계를 의미한다. 이는 공정성, 안전성, 개인정보 보호, 책임성을 핵심 가치로 한다.

### 6.2 설명 가능한 AI (XAI, Explainable AI)
AI가 왜 그런 판단을 내렸는지 인간이 이해할 수 있도록 설명하는 기술이다. '블랙박스'라 불리는 딥러닝 모델의 내부 의사결정 과정을 가시화함으로써, 어떤 변수가 편향된 결과에 영향을 주었는지 추적하고 수정할 수 있게 한다.

### 6.3 글로벌 거버넌스 및 최신 동향
*   **EU AI 법 (EU AI Act):** 세계 최초의 포괄적 AI 규제법으로, AI의 위험도를 4단계로 분류한다. 특히 채용, 사법, 의료 등 '고위험 AI'에 대해서는 엄격한 데이터 거버넌스, 투명성 보고 의무 및 편향성 제거 조치를 강제한다.
*   **UNESCO AI 윤리 권고:** 인권 보호와 환경 지속 가능성을 강조하며, 모든 국가가 AI 시스템의 투명성과 책임성을 보장하기 위한 법적·제도적 장치를 마련할 것을 권고한다.
*   **NIST AI 위험 관리 프레임워크 (AI RMF):** 미국 국립표준기술연구소가 제안한 프레임워크로, AI 시스템의 신뢰성을 높이기 위해 편향을 포함한 위험을 식별, 측정, 관리하는 구체적인 프로세스를 제공한다.